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tre Array，SKA) 射 电 望 远 镜 的 主要 观测 模式 之 一 ， 
涉及 银河 系 和 河 外 星系 成 像 星 表 , 用 于 探查 宇 
恒星 形成 史 山 . SKA 连 续 谱 巡天 观测 是 研究 星 界 上 最 大 的 射电 望远镜 站 它 将 分 两 个 
系 演 化 、 宇 宙 中 大 规模 结构 的 演化 、 宇 宙 磁 场 等 关 
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摘要 平方 公里 阵列 (Square Kilometre Array，SKA) 项 目 是 建设 全 球 最 大 射电 望远镜 的 国际 合作 项 目 ， 其 


线 优 化 
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灵敏 度 和 测量 速度 将 比 当 前 所 有 的 射电 望远镜 都 要 高 出 一 个 数量 级 . 连续 谱 巡 天 是 SKA 的 主要 观测 模式 之 一 ， 


基于 连续 谱 成 像 建立 巡天 区 域 的 标准 星 图 , 将 能 为 后 续 天 文科 学 胡 
奇 森 宽 场 阵列 拓展 巡天 (GaLactic and Extragalactic All-sky Mu 


GLEAM-X) 是 2018 一 2020 年 利用 SKA 先 导 望 远 镜 默 奇 森 宽 场 阵列 


究竟 定 重要 基础 . 银河 系 与 河 外 星系 全 天 默 


拓展 阵列 开展 的 新 的 射电 连续 谱 巡 天 项 目 , 观测 


大 批量 处 理 是 SKA 望 远 镜 项 目 所 面临 的 的 最 大 挑 
助 于 解决 海量 数据 处 理 问 题 . 详细 介绍 了 GLEAM-X 成 像 管 线 3 


Fl 


期 间 积累 了 大 量 的 低频 巡天 观测 数据 . 海量 观测 数据 的 


rchison Widefield Array survey eXtended, 
(Murchison Wide-field Array, MWA) 二 期 


战 和 难题 之 一 , 基 


于 分 布 式 执行 框架 的 成 像 管线 优化 经 验 将 有 


式 并 行 处 理 . 通过 性 能 测试 与 结果 分 析 表 明 , 基于 DALiuGE 执 行 术 


式 具 有 更 好 的 性 能 优势 、 更 灵活 的 适 配 性 和 可 扩 
像 实验 . 
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展 性 ,可 支持 未 来 SKA 委 


动 化 、 


并 对 其 进行 整合 和 改进 , 在 中 国 SKA 区 域 中 心 原 
型 机 (China SKA Regional Centre Prototype, CSRC-P) 上 实现 了 多 条 管线 并 行 处 理 , 使 用 GLEAM-X 观 测 数 
据 验 证 成 像 管线 系统 的 部 署 和 测试 其 正确 性 . 随后 为 了 优化 管线 提高 处 理 效 率 , 使 用 数据 激活 流 图 形 引擎 (Data 


Activated Liu Graph Engine, DALiuGE), 将 成 像 管 线 自 GE 执行 框架 中 实现 了 管线 的 自动 化 分 布 


医 架 进行 优化 的 成 像 管线 相 较 于 传统 的 并 行 方 


关键 词 仪器 : 干涉 仪 , 方法 : 观测 , 技术 : 干涉 测量 , BOR: 图 像 处 理 , 射电 连续 谱 : 普通 
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引言 


连续 谱 巡 天 是 平方 公里 阵列 (Square Kilome- 
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一 阶段 试 运行 期 间 的 大 规模 连续 谱 成 


键 科 学 目标 的 重要 手段 . 基于 连续 谱 成 像 建立 巡天 


区 域 的 标准 星 图 , 将 能 为 后 续 天 文科 学 研究 建立 重 
要 科研 基础 . 
SKA 是 一 个 国际 合作 大 科学 工程 , SEH 
E 阶段 建造 ， 


本 文 的 成 像 管 线 主 要 为 第 一 阶段 的 低频 孔径 阵列 
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澳 大 
， 此 外 , 世界 各 地 也 已 开展 了 
的 低频 


SKA1-Low 作 先导 应 用 . SKA1-Low 将 落 于 西 
利 亚 的 默 奇 森 地 区 日 
多 个 SKA 先 导 望 远 镜 项 目 ， 例 如 位 于 荷兰 
阵列 (Low Frequency Array, LOFAR)“, WTX 
国 的 增强 型 多 元 素 远 程 链接 干涉 仪 网 络 (enhanced 
Multi Element Remotely Linked Interferometer 
Network，e-MERLIN) 回 、 位 于 澳大利亚 的 澳 大 利 
亚 SKA 探 路 者 (Australian Square Kilometre Array 
Pathfinder, ASKAP)I 和 默 奇 森 宽 场 阵列 (Murchi- 
son Wide-field Array, MVWAIJ)LI7- 引 . 
MFARRKA ERARI ERLE MWA 
远 镜 是 SKA 三 个 先导 望远镜 之 一 . 银河 系 与 河 外 星 
系 全 天 默 奇 森 宽 场 阵列 巡天 (GaLactic and Extra- 
galactic All-sky MWA survey, o 
2013 一 2015 年 间 的 宽 视 场 连 续 谱 巡 天 ， 在 72-231 
MHz 的 频率 范围 内 对 北纬 30* 以 南 的 天 空 x 进行 巡天 
i), GLEAM 巡 天 为 MWA 留 下 了 重要 的 低频 巡 
天 数据 集 , 并 且 GLEAM 数 据 正在 用 于 许多 银河 系 、 
河 外 科学 计划 . 虽然 GLEAM 取 得 了 巨大 的 科学 成 
R, 其 低频 巡天 数据 有 助 于 宇宙 黎明 和 再 电离 时 
期 的 探测 研究 ,但 它 从 根本 上 受到 其 较 低 分 辨 率 
和 MWA 原 始 配 置 的 灵敏 度 限 制 , 仍 有 进一步 优化 
和 改进 的 空间 . 
银河 系 与 河 外 星系 全 天 默 奇 森 宽 场 阵 列 拓展 
巡天 (GaLactic and Extragalactic All-sky Murchi- 
son Widefield Array survey eXtended, GLEAM-X) 
是 2018 一 2020 年 利 用 SKA 先 导 望 远 镜 MWA 一 期 拓 
展 阵列 开展 的 新 的 射电 连续 谱 巡 天 项 目 00. 该 巡 
天 的 观测 频率 范围 是 72-231 MHz, WRA HIE 
与 GLEAM 这 天 相同 , 即 北纬 30? 以 南 所 有 的 天 空 区 
域 , 约 30000 deg”. GLEAM-X 的 灵敏 度 和 角 分 辨 率 
能 到 达 1-2 mJy 和 约 45”, 分 别 是 GLEAM 的 约 6 倍 
和 2 倍 以 上 . 因此 , GLEAM-X 将 能 够 探测 到 更 多 射 
B, 所 探测 到 的 射电 源 也 更 清晰 . 该 巡天 将 能 够 
产 出 包括 连续 谱 与 偏振 图 像 、 多 频段 星 表 、 瞬 变 
| 学 数据 产品 , 其 中 连 
续 谱 图 像 和 多 频段 星 表 是 该 巡天 的 首要 科学 数据 
产品 GLEAM-X 巡 天 总 共 进 行 了 超过 40000 次 的 
快照 观测 , 总 数据 量 约 为 2 PB, 处 理 完成 所 有 观测 
数据 需要 近 2000 万 CPU 核 小 时 . 面 对 GLEAM-X 如 
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自动 化 的 并 行 处 理 管线 


此 庞大 的 数据 量 , 急需 开发 
进行 数据 的 批量 处 理 . 
目前 处 理 天 文 数据 最 常用 的 方法 是 在 脚本 中 
争 态 地 定义 工作 管线 的 步骤 组 件 , 这 些 脚 本 要 么 在 
本 地 机 器 上 按 顺 序 执行 要 么 包装 到 作业 脚本 中 ， 
提交 给 作业 调度 系统 来 执行 0. 这 对 于 SKA 规 模 
的 数据 处 理 ( 具 有 数 干 万 个 并 发 任务 ) 并 不 可 行 , 而 
且 管 线 的 故障 检测 和 后 续 恢 复 操作 (例如 重新 执行 ) 
的 代价 非常 高 昂 . 在 数据 并 行 处 理 方面 , 工业 数据 
密集 型 应 用 程序 通常 使 用 通用 的 数据 并 行 框架 , 如 
MapReducel!?], Dryadi3l, Spark ERIEK 
批量 数据 , 但 直接 使 用 它们 来 处 理 SKA 天 文 数据 时 
会 出 现 两 个 问题 : (1) 大 多 数 的 数据 并 行 框架 需要 
将 大 的 数据 集 拆 分 为 小 的 数据 块 , 然后 并 行 处 理 每 
个 拆 分 块 , 然而 天 文 数据 集 通 常 涉及 多 个 复杂 维度 
来 对 数据 集 进 行 切片 , 通用 的 数据 并 行 框架 难以 支 
持 SKA 天 文 数据 的 多 维度 拆 分 ; (2) 现 有 数据 并 行 
框架 的 数据 流 优化 对 于 商业 工作 管线 可 能 非常 有 
效 , 但 是 它们 在 天 文 数 据 管线 中 的 相关 性 和 实用 性 
却 非 常 有 限 , 难以 满足 天 文 数据 处 理 的 科学 标准 . 
此 外 , 现 有 的 GLEAM-X 管 线 还 存在 着 一 些 问 
题 : (1) 管 线 的 每 个 步骤 都 由 独立 的 脚本 文件 来 执 
行 ， 各 个 管线 步骤 的 运行 参数 修改 和 部 署 实现 较 
为 繁琐 ， 不 利于 管线 的 自动 化 批量 处 理 ; (2) 由 于 
GLEAM-X 的 快照 数据 量 较 大 , 成 像 时 间 更 长 , 单 
条 管线 的 处 理 需 要 更 多 的 计算 资源 , 且 单 条 管线 的 
处 理 时 间 较 长 , 需要 一 个 能 根据 数据 处 理 任务 的 计 
算 需求 自动 分 配 硬 件 资源 、 同 时 处 理 大 批量 快照 
数据 的 高 效 稳定 的 多 管线 并 行 处 理 方法 ; (3) 随 着 
SKA 建 设 的 不 断 推进 , 其 所 产生 的 数据 量 也 将 会 增 
加 数 十 倍 , 传统 的 并 行 方 式 可 能 不 足以 支持 如 此 大 
规模 的 数据 流 扩展 并 行 , 因此 , 并 行 处 理 方法 还 需 
要 有 更 灵活 的 适 配 能 力 和 更 强大 的 可 扩展 性 , 能 将 
单条 管线 扩展 为 上 万 条 管线 并 行 处 理 . 
因此 , 针对 以 上 问题 , 我 们 将 多 个 独立 的 管线 
步骤 整合 成 规范 统一 的 成 像 流程 并 验证 其 数据 处 
理 的 正确 性 , 然后 尝试 使 用 基于 任务 排队 系统 的 管 
线 Bash 脚 本 并 行 方式 、 基 于 Message Passing Inter- 
face (MPI) 的 并 行 扩展 方式 、 基 于 Data Activated 
Liu Graph Engine (DALiuGE) 执 行 框架 的 自动 化 
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并 行 处 理 方式 3 种 方法 将 原本 的 单一 串 行 管线 改进 
为 多 条 管线 并 行 的 数据 处 理 流 程 , 并 通过 对 比 各 方 
法 的 综合 运行 性 能 来 寻找 最 优 的 并 行 处 理 方案 . 


2 低频 射电 干涉 阵列 成 像 管线 

本 文 的 低频 射电 干涉 阵列 成 像 管线 
自 MWA GLEAM-X 成 像 管 线 ， 本 章 主 要 
GLEAM-X 观 测 数据 、 成 像 管线 的 详细 流程 步 又 . 


2.1 _ GLEAM-X 观 测 数据 

与 GLEAM 巡 天 相同 ，GLEAM-X 整 个 天 区 巡 
天 由 7 次 不 同位 置 的 漂移 扫描 完成 ， 整 个 观测 频 
段 划 分 为 5 个 子 频 段 ， 能 提供 接近 连续 覆盖 的 频 
率 范围 ， 但 弃 用 了 受 卫 星 等 射电 频率 干扰 严重 
的 135-138 MHz 附 近 的 频段 ， 每 个 子 频 段 的 带宽 
为 30.72 MHz, 每 个 子 频 段 由 连续 的 24 个 频率 通道 
组 成 , 每 个 通道 频率 带宽 为 1.28 MHz, 每 个 频率 通 
道 标注 为 0-255 的 数字 编号 , 5 个 子 频 段 中 心 频率 通 
道 编号 分 别 为 : 69、93、121、145 和 169. GLEAM- 
X 观 测 是 一 系列 为 期 4 周 共 28 晚 的 快照 观测 , 为 了 避 
免 太 阳光 照 对 观测 的 影响 , 漂移 扫描 观测 仅 在 夜间 
进行 . 在 一 晚 的 观测 时 间 内 , 每 个 子 频 段 以 0.5 s 的 
时 间 分 辩 率 每 120 s 记 录 一 次 数据 ， 称 为 2 min 快 照 
观测 数据 , 10 min 则 完成 5 个 子 频 段 数据 的 观测 . 
个 快照 数据 文件 以 起 始 观测 的 GPS 时 间作 为 ID 号 
命名 . 


2.2 ”成 像 管 线 流程 步骤 

本 文 的 低频 射电 干涉 阵列 成 像 管 线 是 基于 开 
源 的 GLEAM-X 成 像 管线 开发 !， 管 线 主 要 用 于 处 
时 GLEAM-X 的 快照 观测 数据 . 该 管线 的 主要 流程 
步骤 如 图 1 所 示 , 具体 步骤 描述 如 下 : 

(1) 原 始 快 照 观测 数据 下 载 (Download Data). 
目前 ,快照 数 据 主要 通过 MWA 全 天 虚拟 天 文 台 
(All-Sky Virtual Observatory, ASVO)D 引 下 载 ， 


wz 
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: 基于 分 布 式 执行 框架 的 低频 射电 干涉 阵列 成 像 管线 优化 6 期 


用 ASVO 提 供 的 命令 行 客户 端 (manta-ray-client)， 
将 需要 下 载 的 快照 数据 的 观测 ID 写 入 有 逗号 分 隔 值 
(Comma-Separated Values, CSV) IR XAF, JESS 
下 载 作 业 后 , 可 以 实时 监测 下 载 作 业 的 状态 并 在 作 
业 完 成 后 自动 下 载 数据 . 因此 , 第 二 种 方式 比较 适 
用 于 数据 的 大 批量 自动 下 载 . 下 载 的 原始 观测 快照 
数据 为 ZIP 压 缩 文件 , 该 压缩 文件 包含 : 可 见 度数 
据 文件 (gpubox.fits)、 观 测 元 数据 文件 (metafits 和 
ppds)、 射 电 频 率 干 扰 (Radio Frequency Interfer- 
ence, RFT) 初 步 标记 文件 (flags.zip 和 mwaf); 


Download 
Cotter 
Start Data 一 | O.Sh 
(MWA ASVO) (0.8h) 

Autoflag 


Measurement / | | | Auto Calibrate 
Set Data (5s) (0.4h) 


Apply 
= Calibrate ~ rs k T ge 
(40s) E | 


( Ena ) 
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Postimage | Rescale 
(1.3h) (105s) 


Fig.1 Imaging pipeline for GLEAM-X snapshot data 


( 2) 快照 数据 解压 与 数据 预 处 理 (Cotter). 对 下 
载 完 成 的 快照 数据 压缩 文件 进行 解压 , 然后 进行 数 
据 预 处 理 . 数据 预 处 理 步 又 采用 的 是 Offringa 等 人 
开发 的 Cotter 软 件 9, 该 软件 是 MWA 数 据 专用 的 
数据 预 处 理 软 件 ， 通过 读 取 可 见 度 、 观 测 时 间 与 
频率 等 数据 , 按照 预 设 的 4 s 时 间 分 辨 率 和 40 kHz 频 
率 分 辨 率 对 可 见 度 数据 进行 时 间 平 均 和 频率 平均 ; 
之 后 读 取 RFI 初 步 标 记 文 件 信 息 , Cotter 使 用 André 
Offringa’s Flagger (AOFlagger)l1" 软 件 中 的 算法 进 
行 RFI 检 测 和 损坏 天 线 的 标记 , 并 计算 相关 统计 数 
据 和 校正 电线 长 度 延 迟 相位 ; 最 后 ， 由 于 后 续 步 
又 的 数据 处 理 软件 或 程序 是 基于 CASA 核 心软 件 


MWA ASVO 给 用 户 提供 了 两 种 下 载 方 式 . 第 

种 方式 是 利用 ASVO 网 页 交互 式 界面 的 'New Data 
Job "功能 提交 下 载 作 业 , 等待 作业 完成 后 , 通过 提 
供 的 下 载 链接 手动 下 载 数 据 . 第 二 种 方式 是 ， 利 


lhttps://github.com/tjgalvin/GLEAM-X-pipeline 


库 Casacorels| 开 发 的 ,还 需要 将 处 理 后 的 文件 转 
换 为 通用 天 文 软件 应 用 程序 Common Astronomy 
Software Applications (CASA) 的 MeasurementSet 
(MS)D9 格 式 文件 ; 
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(3) 故 障 天 线 标记 (Autoflag). 由 于 步骤 (2) 中 的 
损坏 天 线 标记 是 根据 观测 时 的 记录 文件 进行 的 , 个 
别 天 线 故 障 没有 被 及 时 记录 , 这 一 步骤 是 根据 观测 
工程 师 或 者 校准 源 数据 处 理 中 提供 的 天 线 受 损 记 
X, ji oe 以 免 有 漏 标的 故障 天 线 影响 后 


(4) 天 J 建立 与 校准 解 生成 (Auto Cali- 
brate). 鉴于 GLEAM-X 与 GLEAM 的 巡天 天 区 覆盖 
范围 和 观测 频率 均 相 同 , 因此 可 以 使 用 现 有 的 GL- 
EAM 视 场 模 型 对 GLEAM-X 观 测 数 据 进行 校准 . 首 
先 , 在 已 发 表 的 GLEAM 星 表 中 寻找 GLEAM-X 快 
照 观测 数据 视 场 范围 内 同 波段 、 同 位 置 的 射电 分 
量 或 源 信息 (流量 密度 和 位 置 等 ). 然后 , 基于 这 些 
信息 制作 出 该 快照 数据 的 初始 天 空 模型 ， 并 按照 
Andre 格 式 输出 模型 文件 ?. 最 后 , 天 空 模型 文件 和 
快照 数据 输入 到 校准 算法 进行 校准 解 的 产生 , 校准 
算法 采用 Offringa 等 人 提出 的 MitchCal 算 法 ER9, 该 


号 数 (单位 rad) 得 到 每 个 数据 的 具体 像素 分 辨 率 , 其 
中 基础 像素 分 } 状 率 为 0.6. 由 于 GLEANLX 观 测 视 声 
较 大 ( 约 30° x 30°), 视 场 范围 内 将 包含 不 同 大 小 尺 
度 的 射电 源 , 传统 的 洁 化 (Clean) 方 法 已 经 无 法 满足 
其 成 像 处 理 的 更 高 动态 范围 的 要 求 , 而 WSClean 支 
持 多 尺度 洁 化 (Multi-scale Clean) Hyke, 能 够 更 
好 地 重建 延展 结构 的 射电 源 . 因此 在 参数 设置 上 选 
择 multiscale 的 主要 迭代 滞 化 增益 为 0.85, 即 在 每 个 
主要 迭代 中 减 去 85 儿 的 流量 密度 , 多 尺度 增益 参数 
使 用 默认 值 0.15. 最 初 的 GLEAM 数 据 使 用 了 具有 
鲁 棒 性 参数 为 -1 的 “Briggs” 图 像 加 权 B3l, 但 这 种 加 
权 不 适用 于 MWA 二 期 扩展 配置 , 对 于 GLEAM-X， 
通常 首选 natural 的 加 权 模 式 以 最 大 限度 地 提高 灵 
敏 度 , 但 是 与 GLEAM 相 比 ,， natural 加 权 的 角 分 辩 
率 提 高 仅 为 1.5 倍 ， TORIR ee . 
了 在 保持 整体 灵敏 度 的 同时 平衡 分 辩 率 的 提 

终 选 择 了 +0.5 鲁 棒 性 参数 的 “Briggs” 图 像 加 权 | 2al, 


算法 将 计算 出 天 空 模型 与 实际 快照 观测 的 可 见 度 
数据 所 有 点 的 幅度 和 相位 偏 移 量 , 这 些 偏 移 量 再 进 
行 最 小 二 乘法 拟 合 获得 最 终 的 校准 解 , 这 个 校准 解 
可 以 修正 实际 快照 数据 的 幅度 和 相位 误差 ; 

(5) 目 标 场 数据 校准 (Apply Calibrate). 将 步骤 
(4) 中 生成 的 校准 解 应 用 于 快照 观测 的 可 见 度 数据 
进行 幅度 和 相位 校准 ， 这 一 步 能 够 消除 观测 设备 和 
大 气 等 大 部 分 干扰 因素 的 影响 ; 

(6) 基 线 数据 标记 (Uvfag). 扫描 检查 校准 后 的 
可 见 度数 据 是 否 有 遗漏 的 RFI 未 进行 标记 , 将 标记 
的 故障 天 线 对 应 UV 基线 的 可 见 度 数据 进行 标记 . 
该 步骤 能 够 尽 可 能 地 消除 广播 调频 信号 和 数字 电 
视 信 号 对 该 频段 观测 数据 的 干扰 影响 ; 

(TRÆ MAK (Deep Image). 深度 成 像 主 要 利用 
w 方 癌 舍 片 洁 化 (W-Stacking Clean，WSClean) 软 
EP UH A wscleantt Sil, 最 终生 成 2 min 快 照 图 


它 提供 的 自动 调节 权重 (weighting) 方 法 , 可 以 获得 
更 均衡 的 成 像 效 果 . 此 外 设置 洁 化 最 大 迭代 次 数 为 
10000000 次 , 迭代 阔 值 在 均 方 根 RMS (Root Mean 
Square) $E lo 一 30 之 间 动 态 调节 , 在 成 像 中 所 选 
取 的 数据 为 校准 过 后 的 CORRECTED_DA-TA 数 
据 列 ; 

(8) 成 像 后 处 理 (Postimage). 对 深度 成 像 生成 
的 图 像 执行 电离 层 校 正 , 主要 为 了 消除 电离 层 引起 
的 干扰 . 电离 层 的 干扰 会 导致 射电 源 的 相位 偏 移 ， 
该 偏 移 会 随 电 离 层 位 置 的 不 同 而 发 生变 化 . 对 于 
成 像 后 的 快照 图 像 , 首先 使 用 背景 噪声 估计 (Back- 
ground And Noise Estimation, BANE)B5 工 具 计算 
背景 和 RMS 噪 声 c, 并 使 用 源 查找 软件 包 Aegeanb5l 
进行 源 查 找 ， 最 小 阔 值 为 5g， 之 后 根据 Hurley- 
Walker 等 Bd 的 方法 ， 使 用 fits_warpl*" 软 件 包 的 星 
me ee ea 


像 . 主要 的 成 像 参数 设置 如 表 1 所 示 . 在 成 像 方面 ， 
GLEAM-X 的 观测 视 场 大 小 与 GLEAM 相 同 , 但 角 
分 辩 率 提高 了 约 2 倍 , 因此 输出 的 图 像 大 小 需 增 大 
24%, 即 8000 x 8000. 每 个 像素 的 大 小 (像素 分 辨 率 ) 
一 般 设 为 望远镜 角 分 辨 率 的 四 分 之 一 或 五 分 之 一 ， 
可 以 由 基础 像素 分 辨 率 除 以 子 频 段 中 心 频率 的 编 


*https://github.com/PaulHancock/MWA-Sky Model 


星 表 进行 交叉 匹配 ,通常 保留 约 3000 个 交叉 匹配 
源 ， 从 中 选取 750 个 较 亮 的 源 , 更 多 的 源 无 法 提高 
校正 的 准确 性 ， 而 且 会 增加 计算 负担 ， 因 此 选择 
该 值 作为 收益 递减 点 . 然后 ， 根 据 快照 图 像 中 保 
留 的 源 与 参考 星 表 源 之 间 的 位 置 差异 计算 偏 移 
量 , fits_warp 使 用 这 些 偏 移 量 来 创建 修正 模型 ， 将 


= 
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而 


其 应 用 于 原始 快照 图 像 ,并 将 修正 后 的 结果 内 插 
回 图 像 完 成 位 置 校 正 . 之 后 使 用 Hux_warpL2 引 软件 
包 以 类 似 的 方式 进行 流量 密度 校正 ， 最 后 重新 使 
Aegean 对 处 理 后 的 快照 图 像 进行 源 查 找 , 对 比 源 
的 数量 检验 校正 效果 ; 


#1 wsclean 成 像 主要 参数 设置 


Table 1 Main parameter settings of wsclean 


现 和 # 


电 干 涉 阵列 成 像 管 线 优化 


3 基于 任务 排队 系统 的 成 像 管 线 
Bash 脚 本 并 行 优 化 


6 H 


本 章 主 要 介绍 在 CSRC-P (China SKA Re- 


gional Centre Prototype) 原 型 机 上 对 管线 的 部 署 实 
行 优化 , 并 对 其 正确 性 进行 验证 . 


3.1 ”成像 管线 在 CSRC-P 上 的 环境 部 署 


imaging 
Parameter 
-Size 8000 x 8000 pixels 
Base pixel resolution / 
-scale 
frequency channel 
-weight ‘briggs’ Mode, ‘robust’ 0.5 


-multiscale-mgain 


-multiscale-gain 


-niter 


-auto-mask 
-auto-threshold 


-data-column 


CORRECTED_DATA 


(9) 图 像 重 设 (Rescale). 对 步骤 (8) 处 理 后 的 图 


像 进 行 图 像 重 缩放 . 首先 ， 读 取 上 一 步 Aegean 对 


开源 版 本 的 GLEAM-X 管 线 是 基于 Singularly 
容器 镜像 环境 和 澳大利亚 Pawsey 超 算 中 心 Galaxy 
超级 计算 机 软件 环境 开发 和 运行 的 Bd. 为 了 能 够 在 
CSRC-P 原 型 机 上 部 署 并 运行 该 成 像 管线 , 我 们 进 
行 了 管线 软件 环境 的 部 署 以 及 相关 代码 的 修改 . 

所 部 署 的 软件 包括 : cotter v4.6、AOFlagger 
v3.0, mwa-reduce-2022、WSClean v2.9, stilts v3.4 
等 . 由 于 原型 机 所 有 节点 安装 的 操作 系统 为 Centos 
7.03, 我 们 编写 了 一 个 能 自动 化 进行 所 有 软件 部 署 
安装 的 Bash 脚 本 ， 脚 本 内 包含 了 下 载 、 、 编 
译 、 配 置 、 安 装 等 软件 部 署 步 骤 的 命令 语句 , HR 
盖 了 需要 以 同样 步骤 安装 的 大 量 前 置 和 
的 部 署 命令 . 为 了 便于 用 户 动态 地 修改 自己 的 软件 
环境 ,， 且 不 影响 其 他 用 户 的 软件 环境 ,实验 的 软件 
环境 采用 环境 变量 管理 工具 Modules4 进 行 管理 , 当 
进行 GLEAM-X 巡 天 数据 处 理 时 ， 吕 只 需要 在 提交 的 
任务 脚本 中 载 入 对 应 软件 的 模块 文件 modulefiles， 
即 可 使 用 所 部 署 的 数据 处 理 软件 环境 . 


图 像 进行 源 查找 的 结果 ,使 用 stilts 软 件 B9 将 其 与 
步骤 (4) 的 天 空 模型 进行 交叉 匹配 ,获取 快照 图 像 
与 参考 模型 的 赤 经 (Right Ascension，RA) 和 赤 纬 
(Declination，Dec) 的 偏 移 量 以 及 流量 密度 的 比值 ， 
使 用 sigma_clip 算 法 B9 来 识别 和 去 除 小 于 中 位 数 减 
标准 差 或 大 于 中 位 数 加 标准 差 的 异常 值 数据 , 接着 
对 修正 前 后 的 RA 和 Dec 数 据 进 行 多 项 式 拟 合 并 绘 
制 拟 合 曲线 的 图 像 以 供 后 续 的 误差 分 析 使 用 ， 然 
后 生成 快照 图 像 的 背景 、RMS 和 拼接 权重 文件 ， 
最 后 根据 RA、Dec 的 偏 移 量 (ARAa、Apc) 计 算出 
GLEAM-X 快 照 图 像 的 矢量 化 函数 , 对 图 像 像素 进 
行 矢 量化 处 理 , 重 设 图 像 的 比例 尺 , 生成 重新 缩放 
的 fits 文 件 . 


3https://www.centos.org/ 


4http://modules.sourceforge.net 


此 外 , 通过 多 次 实验 发 现 ， 
快照 数据 量 较 大 、 成 像 时 1 


个 计算 节点 可 以 同时 
式 不 同 ，GLEAM-X 需 
单个 快照 数据 处 理 就 需 独占 


JEK, 
运行 多 条 管 
要 更 多 的 站 


用 两 个 计算 节点 并 行 处 到 


数据 包 平 均 总 有 


司 同 比 增加 31%. 
WSClean 采 用 deren 是 ww 方 让 向 合 片 (w- 
stacking)， 其 中 ww 是 基线 (w、 
从 地 心 指向 目 sea a 向 .i 


里 相 同 的 两 个 快照 数据 包 平均 总 用 时 9.5 h, Ach 


有 时 7.2 hp， 而 使 


其 主要 原因 和 有 


H-FGLEAM-Xff 
SGLEAM&4H 
线 的 处 理 方 


例如 ， 
两 个 GLEAM-X 快 照 
单个 计算 节点 处 


时 


TIR] 度 成 像 中 


EmA Hw 


首先 将 
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三 维 可 见 度 数据 根据 w 值 ， 划 分 为 不 同 w 层 的 二 维 
可 见 度 数据 , 然后 分 别 对 不 同 w 层 的 二 维 可 见 度 数 
据 进 行 栅 格 化 和 FFT (Fast Fourier Transforma- 
tion) 成 像 ， 最 后 不 同 w 层 得 到 的 图 像 乘 以 ww 因子 并 
进行 全 加 得 到 最 终 的 图 像 结果 叫 . 消耗 的 内 存 和 
计算 资源 与 w 的 大 小 和 图 像 的 像素 大 小 有 关 . 由 于 
需要 产生 的 快照 图 像 的 像素 大 小 增 大 了 , 所 以 在 深 
度 成 像 时 , 消耗 的 内 存 和 计算 资源 也 大 大 增加 , 对 
于 具有 大 规模 计算 节点 资源 的 SKA 区 域 中 心 (SKA 
Regional Centre, SRC) 来 说 , 能 够 大 大 缩短 数据 处 
理 时 间 ， 更 适合 于 将 来 大 规模 连续 谱 巡 天 数据 的 
处 理 . w-stacking 的 时 间 复 杂 度 (Time Complexity, 
TC)BH 由 下 式 给 出 : 


下 人 we = 


O(N vx logs (NpixWmaxSiN@Fov + Nyis)) ’ (1) 


Login Nodes 


Operation 
Node 15 


Array1: 
Download Data 


Array2: 
Download Data 


= Ee 


Array15: 
Download Data 


其 中 ，O 表 示 算 法 的 最 坏 时 间 复 杂 度 ， 即 算法 在 最 
坏 情况 下 所 需 的 时 间 复 杂 度 ，Npix 为 图 像 像素 大 小 ， 
Nuvis 为 可 见 度 数据 长 度 ， wmax 为 最 大 由 值 ，arov 为 
成 像 视 场 (Field Of View, FOV). 


3.2 成 像 管线 在 CSRC-P 上 的 任务 排队 并 行 优 
化 

GLEAM-X 成 像 管线 所 有 处 理 步 又 的 执行 命 
令 和 代码 均 采 用 Bash 脚 本 进行 封装 BL， 为 了 提高 
数据 处 理 效 率 , 保证 单个 计算 节点 处 理 单条 管线 ， 
我 们 设计 了 批量 数据 处 理 方法 ， 即 通过 任务 排队 
系统 同时 并 行 处 理 多 个 快照 观测 数据 . 图 2 表示 基 
于 Bash 脚 本 任务 排队 并 行 优化 的 基本 原理 , 具体 如 
下 : 


Wo æ Control 


一 Data 


Array1: Rescale Snapshot 


Array2: Rescale 


Distributed 
Storage 


Array15: Rescale 


ag : Array16: n Snapshot 
Operation {Download Data eis Sains Rascals image 16 £ 
Node 16 Ss E ol AN 


2 ”基于 Bash 脚 本 任务 排队 并 行 优化 原理 图 


S 


Fig.2 Principle diagram of task queuing and parallel optimization based on Bash script 
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(1) 通 过 充分 利用 原型 机 作业 调度 系统 中 的 任 
务 依赖 和 计算 节点 分 配 功能 进行 并 行 处 理 , 我 们 编 
写 了 一 个 总 管线 任务 脚本 , 其 中 涵盖 了 管线 所 有 处 
里 步骤 的 子 脚本 , 并 将 每 个 步骤 所 需 的 运行 参数 做 
顶层 设置 , 可 以 根据 实际 运行 环境 在 总 任务 脚本 
部 进行 统一 设置 和 修改 ; 
(2) 用 户 在 登陆 节点 (Login Nodes) 提 交 总 任务 
脚本 ， 通 过 计算 节点 分 配 功 能 将 整 条 管线 步骤 队 
列 (Array) 的 每 个 子 步 又 分 配 到 同一 个 计算 节点 
(Operation Node) 上 运行 , 利用 前 一 个 步骤 提交 后 
返回 的 任务 编号 (jobid) 和 任务 依赖 来 实现 任务 排 
队 , 待 上 一 个 步 又 完成 后 自动 执行 下 一 个 步骤 任务 ， 
实现 单条 管线 的 处 理 运 行 ; 
(3) 并 行 运行 多 条 管线 时 ,在 单条 管线 的 最 外 
层 , 将 单条 管线 的 执行 放 入 到 循环 结构 中 , 通过 定 
义 任务 队列 (Task Queue) 的 循环 次 数 ( 即 并 行 运行 
的 管线 条 数 ) 在 单个 循环 内 确定 单条 管线 的 标识 ID 
和 分 配 的 计算 节点 编号 . 将 每 个 步骤 的 脚本 文件 提 
交 到 对 应 管线 的 计算 节点 上 进行 任务 排队 , 通过 多 
次 循环 地 提交 任务 来 将 多 条 管线 分 配 到 多 个 计算 
节点 ( 即 一 个 计算 节点 执行 一 条 管线 处 理 ), 实现 基 
于 任务 排队 的 管线 Bash 脚 本 的 多 节点 并 行 处 理 . 


并 行 成 像 管线 的 GLEAM-X 数 据 验证 
为 了 验证 部 署 的 环境 以 及 修改 后 的 管线 的 正 
确 性 ， 我 们 选取 一 个 GLEAM-X 快 照 原 始 观测 数 
据 进 行 测试 . 快照 数据 观测 ID 是 1212314512, 观测 
起 始 时 间 为 协调 世界 时 (Universal Time Coordi- 
nated, UTC) 2018-06-06 10:01:34, 观测 相位 中 心 为 


So 


3.3 


(RA, Dec) = (176.87°, —25.78°). 管线 处 理 该 快照 
数据 用 时 6.7 h, 最 终生 成 图 像 数据 包含 多 频率 综合 


(Multi Frequency Synthesis，MFS) 和 4 个 子 频 段 
的 总 强度 即 射电 偏振 斯 托 克 斯 I 分 量 (Stokes 了 图 
像 结果 ， 频 率 范 围 为 170-200 MHz， 图 像 RMS 噪 
声 4.2 mJy/beam 与 GLEAM-X 文 献 [10] 给 出 的 结果 
相符 . 

为 了 i 


像 进 


行 对 比分 析 , 选取 MEFS 的 总 强度 图 


电 干 涉 阵列 成 像 管 线 优化 


行 射 电源 搜寻 并 建立 星 表 , 使 用 Aegean 软 件 搜寻 出 
的 射电 源 共 有 11409 个 , 使 用 星 表 和 表格 操作 工具 
(Tool for OPerations on Catalogues And Tables, 
TOPCAT)B3 进 行 交 叉 匹 配 ， 设 置 允 许 的 最 大 偏 
差 为 45 arcsec (GLEAM-X 角 分 辨 率 ). 与 已 发 表 的 
GLEAMÆ #2 VE BC VE TBA 10234, 匹配 的 源 个 数 
占 源 总 数 的 89.7%, 剩余 匹配 的 主要 原因 是 GLEAM- 
X 的 分 辨 率 和 灵敏 度 较 高 , 相 较 于 GLEAM 能 够 探 
测 到 更 多 的 射电 源 , 因此 新 多 出 的 射电 源 与 原 有 的 
GLEAM 星 表 存 在 不 匹配 现象 . 与 广 域 红外 巡天 探 
测 器 (All the Wide-field Infrared Survey Explore, 
ALLWISE) 星 表 匹 配 的 源 个 数 为 11399， 匹 配 的 
源 个 数 占 源 总 数 的 99.9%， 表 明 获 得 的 射电 星 表 
几乎 都 能 够 找到 红外 波段 的 对 应 体 ， 通过 统计 
指标 ARA、Appc 和 Peak flux 的 比值 得 到 如 下 统 
计 图 3 和 表 2， 图 3 为 GLEAM-X 快 照 图 像 星 表 分 别 
与 ALLWISE 星 表 和 GLEAM 星 表 交 叉 匹 配 的 统计 
分 布 图 ， 并 绘制 了 分 布 图 的 拟 合 曲线 , 表 2 为 图 3 中 
各 个 分 布 函数 的 高 斯 拟 合 结果 , 分 别 统 计 了 各 个 分 
布 函数 高 斯 拟 合 的 平均 值 、 幅 度 值 、 标 准 差 . 通过 
与 两 个 星 表 进 行 匹 配 , ARA、Apac 的 均值 均 在 0 左 
A, Peak_Hux 比 值 的 均值 在 1 左右 , 标准 差 在 0 左右 ， 
标准 差 能 反映 一 个 数据 集 的 离散 程度 , 标准 差 越 小 
则 数据 离散 越 小 , 由 统计 结果 可 以 得 出 经 由 我 们 改 
进 过 后 的 GLEAM-X 成 像 管线 在 CSRC-P 上 的 数据 


处 理 结果 是 可 靠 的 . 
表 2 图 3 中 各 个 分 布 函数 的 高 斯 拟 合 结果 
Table 2 Gaussian fitting results for each 
distribution in Fig. 3 

ow Average value Amplitude pint 
(a 一 0.3 arcsec 1258.4 5.9 arcsec 
(b) 一 0.9 arcsec 1221.6 5.3 arcsec 
(c 1.02 1123.5 0.2 
(d) 0.04 arcsec 1676.2 4.3 arcsec 
(e 一 0.03 arcsec 1704.3 3.4 arcsec 
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图 3 图 (a) 和 (b) 为 GLEAM-X 快 照 图 像 星 表 与 ALLWISE 星 表 交 又 匹 配 统 计 结果 . 图 (a): Ara DMR; 图 (b): 人 ppc 分 布 图 . 


图 (c)-(e) 为 GLEAM-X 快 照 图 像 星 表 与 GLEAM 星 表 交 又 匹配 统计 结果 . 图 (c): Peak_Hux 比 值 分 布 图 ， 


ScLEAM_x 为 GLEAM-X 星 表 


的 Peak_flux 值 ， SGLgAM 为 GLEAM 星 表 的 Peak_flux 值 ; 图 (d): 人 RA 分 布 图 ; 图 (e): 人 pc 分 布 图 . 图 中 红色 虚线 为 分 布 图 的 拟 合 曲 线 . 


Fig.3 Panels (a) and (b) display the statistical results of cross-matching between the GLEAM-X snapshot image catalog and 
the ALLWISE catalog, respectively. Panel (a): distribution of Ara, Ara is RA difference of two catalogs; Panel (b): distribution 
of Apec, Apec is DEC difference of two catalogs. Panels (c) to (e) show the statistical results of cross-matching between the 


GLEAM-X snapshot image catalog and the GLEAM catalog. Panel (c): Peak_flux ratio distribution, SeLeam-x is Peak flux of 


the GLEAM-X catalog, SGLEAM is Peak flux of the GLEAM catalog; Panel (d): distribution o 


Ara; Panel (e): distribution of 


Abec. Red dashed lines are the fitting curve of the difference distributions. 


4 ， 基于 MPI 的 管线 脚本 并 行 扩展 获取 通信 域 MPLCOMM_WORLD 中 的 进程 号 , 通 
为 了 更 全 面 地 开展 性 能 测试 对 比 , 我 们 对 原型 。 Apython 4 E E Bos.systom xl R ANE AR SEH f 
机 上 部 署 的 基于 Bash 脚 本 的 管线 进行 了 MPI 扩 展 。 “一 个 Bash 脚 本 生成 了 进程 执行 , POMP LEA Ie 
修改 , 以 此 来 与 其 他 的 扩展 方式 进行 性 能 比较 . he ]. 在 原本 所 需 的 脚本 参数 的 基础 上 间 
MPI 是 一 个 跨 语 言 的 通讯 协议 , 属于 消息 传递 一 个 进程 四 号， 用 以 识别 划分 多 条 管线 并 行 运行 
式 并 行程 序 设 计 , 在 今天 仍 为 高 性 能 计算 的 主要 本 BATHIN 每 条 管线 的 运行 时 间 . 之 后 再 额外 提交 
型 (9. 问题 的 分 解 策略 、 进 程 间 的 数据 交换 策略 都 。” 一 个 设置 和 运行 MPI 的 任务 脚本 来 执行 MPI 扩 展 
需要 由 用 户 来 手动 确定 , 在 挖 扎 潜 在 并 行 性 方面 更 。 程序 , 通过 修改 预 分 配 的 节点 个 数 来 设 定 并 行 运行 
主动 , 但 并 不 利于 流程 的 自动 化 处 理 . 的 管线 条 数 , 最 终 能 够 获得 与 其 他 并 行 方式 相同 的 
为 了 实现 MPI 并 行 扩展 , 我 们 使 用 python 编 程 ” 成 像 结果 . 
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5 基于 DALiuGE 执 行 框架 的 成 像 
管线 自动 化 并 行 实现 
本 节 主 要 介绍 DALiuGE 执 行 框架 的 处 理 机 制 
以 及 将 成 像 管线 移植 到 执行 框架 中 的 两 个 主要 实 
现 部 分 : 管线 步骤 的 DALiuGE 执 行 框架 组 件 开 发 ; 
管线 的 DALiuGE 逻 辑 图 组 合 和 物理 图 部 署 运行 . 


5.1 ”DALiuGE 处 理 机 制 

数据 激活 流 (Liu) 图 形 引 擎 (DALiuGE) 是 一 个 
专门 用 于 以 图 形 方式 处 理 超大 规模 射电 天 文 数 据 
集 的 工作 流 图 形 执行 框架 上. DALiuGE 提 供 分 布 
式 数据 管理 平台 和 可 扩展 的 管线 执行 环境 ,以 支持 
射电 天 文 数 据 的 自动 化 、 软 实时 、 数 据 密集 型 处 


与 现 有 的 处 理 框架 相 比 ,DALiuGE 的 主要 优 
势 在 于 : 

(1) 自 动 化 资源 调度 管理 : DALiuGE 将 管线 的 
逻辑 图 与 其 运行 时 的 物理 图 实现 分 离 , 管线 的 运行 
能 够 以 负载 平衡 、 数 据 移动 最 小 化 成 本 的 方式 映 
射 到 当前 可 用 的 计算 资源 上 , 能 够 均衡 整体 工作 负 
荷 (包括 计算 时 间 和 内 存 使 用 ) 以 实现 最 佳 的 资源 调 
度 分 配 ; 
(2) 数 据 驱 动 : DALiuGE 的 执行 是 由 数据 激活 


5.2 ”管线 步骤 的 DALiuGE 执 行 框架 组 件 开发 

由 于 GLEAM-X 管 线 所 有 处 理 步骤 的 执行 命 
令 和 代码 均 采 用 Bash 脚 本 进行 封装 ， 而 DALiuGE 
的 Drop 组 件 主要 是 使 用 python 语 言 编写 . BIADA- 
LiuGE 自 带 有 简单 的 Bash 脚 本 组 件 可 以 使 用 , 但 直 
接 使 用 Bash 脚 本 组 件 执行 效率 不 高 . 从 本 质 上 来 
说 ,这 种 移植 方式 并 不 能 充分 发 挥 DALiuGE 的 性 
能 , 因此 我 们 选择 将 GLEAM-X 管 线 的 整体 代码 移 
植 到 DALiuGE 的 python 组 件 中 ,使 其 成 为 真正 的 
DALiuGE 组 件 程序 . 无 论 使 用 哪 种 方法 , 我 们 都 将 
确保 最 终 处 理 结果 与 原 GLEAM-X 管 线 一 致 . 

DALiuGE 的 核心 是 数据 驱动 . Drop 是 一 个 无 
状态 程序 单元 ， 当 Drop 接 收 到 数据 时 开始 运行 处 
理 ， 并 在 处 理 完 成 时 输出 数据 . 我 们 在 对 GLEAM-X 
管线 代码 进行 详细 分 析 的 基础 上 , 将 每 一 个 管线 步 
又 重新 编写 为 DALiuGE 组 件 , 构建 了 一 系列 Drop 
组 件 . 这 些 Drop 组 件 继承 自 DALiuGE 的 两 个 标准 
Drop, 即 PythonApp 和 FileDrop. PythonApp 用 了 
执行 脚本 程序 , 需要 自行 编写 FileDrop 用 于 传输 
变量 , 在 连接 管线 流程 图 时 根据 输入 输出 的 端口 自 
动 生成 . 

关于 组 件 的 编号 DALiuGE 提 供 一 个 组 件 项 


的 , 每 个 单独 的 数据 项 都 会 自动 触发 对 其 自身 的 处 
流程 . DALiuGE 将 数据 建 模 为 图 的 节点 (Drop)， 
将 它们 视 作 为 可 管理 的 实体 , 允许 数据 和 应 用 程序 
触发 和 接收 事件 . 这 种 去 中 心 化 也 使 得 执行 框架 具 
有 很 强 的 可 扩展 性 和 灵活 性 , 由 于 其 完全 去 中 心 化 
的 执行 模式 DALiuGE 可 以 并 发 管理 和 执行 数 千 
万 个 任务 ; 
(3) 生 命 周 期 管理 : DALiuGE 还 在 执行 引擎 中 
集成 了 一 个 数据 生命 周期 管理 组 件 , 能 够 跟踪 Drop 
的 执行 并 在 必要 时 自动 迁移 或 删除 上 
DALiuGE 的 开发 很 大 程度 上 是 基于 射电 天 文 
的 处 理 需 求 , 并 且 DALiuGE 采 用 了 通用 的 、 数 据 
驱动 的 框架 架构 , 适用 于 许多 其 他 数据 密集 型 应 用 
程序 , 因此 我 们 选择 以 DALiuGE 执 行 框架 来 实现 
GLEAM-X 成 像 管线 分 布 式 并 行 优化 . 


Shttps://github.com/ICRAR/daliuge-component-template 
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目 模板 5， 该 模板 涵盖 应 用 程序 组 件 和 数据 组 件 , 包 
括 项 目 设置 、 测 试 、 格 式 合 规 性 、 构 建 、 文 档 、 发 
布 和 持续 集成 等 . 组 件 的 编程 需要 修改 apps.py 文 
件 来 实现 , 通过 组 件 规定 的 注释 方式 可 将 App 所 需 
的 参数 在 天 文 图 形 语 言 环境 编辑 器 (Editor for the 
Astronomical Graph Language Environment, EA- 
GLE) 可 视 化 为 可 修改 选项 , 方便 用 户 随 时 修改 而 
不 再 需要 涉及 py 文件 的 编程 . 此 外 , 可 以 为 组 件 添 
加 自 定义 的 输入 和 输出 端口 , 端口 是 获取 数据 和 信 
息 进出 组 件 的 主要 方式 , 端口 始终 连接 到 数据 组 件 ， 
并 为 应 用 程序 组 件 提供 同 质 I/O 接 口 , 默认 情况 下 
只 允许 匹配 端口 之 间 的 连接 , 可 以 将 任何 想 要 的 内 
容 写 入 输出 端口 , 但 需要 注意 其 他 组 件 要 能 够 正确 
理解 和 解释 . 

图 4 为 DALiuGE 中 成 像 管线 的 逻辑 图 ， 包 全 
PythonApp 和 FileDrop 共 20 个 Drop， 其 中 执行 主 


64 4 RK 


要 功能 的 PythonApp 有 10 个 ， 分 别 是 1 个 为 了 满足 


DALiuGE 中 Scatter 组 件 的 并 行 需要 而 编写 的 并 行 
配置 App Drop (ProduceConfigApp)、 根 据 管 线 
主要 步骤 编写 的 9 个 App Drop 和 连接 管线 流程 图 
时 根据 输入 输出 端口 自动 生成 用 于 传输 任务 编 
号 (jobid) 的 10 个 FileDrop. 具体 说 明 如 下 : 


apply_calApp 


fe jobid jobid 


qa 成像 管线 的 逻辑 图 


Fig.4 Logic graph for the imaging pipeline 


ProduceConfigApp: 并 行 配 置 . DALiuGE 自 带 
的 Scatter 组 件 会 根据 组 件 参 数 (Number of copies) 
的 数目 将 包含 在 内 的 管线 流程 拆 分 为 多 个 并 行 处 
理 实例 , 因此 需要 根据 Scatter 的 输出 数量 , 按照 总 
观测 ID 下 载 CSV 文 件 和 包含 全 观测 ID 的 文本 文件 ， 
通过 ProduceConfigApp 为 每 一 条 并 行 处 理 管线 配 
置 相应 的 单条 下 载 CSV 文 件 和 观测 ID 文本 文件 , 并 
将 CSV 文 件 名 和 文本 文件 名 传输 到 下 一 个 Drop. 

9 个 App 与 成 像 管线 中 的 步骤 按 顺 序 对 应 . 
downloadApp: 数据 下 载 ; cotterApp: 数据 预 处 理 ; 
autoflagApp: 故障 天 线 标记 ; autocalApp: 生成 校 
HERR; apply_calApp: 目标 场 数 据 校 准 ; uvflagApp: 
基线 数据 标记 ; imageApp: 深度 成 像 ; postim- 
ageApp: 成 像 后 处 理 ; rescaleApp: 图 像 重 设 . 


5.3 ”管线 的 DALiuGE 逻 辑 图 组 合 和 物理 图 部 署 
运行 

以 上 的 PythonApp 组 件 编 写 完 成 后 为 py 文件 ， 
还 需要 使 用 DALiuGE 中 的 转换 文件 生成 对 应 组 件 
的 palette 文 件 . 在 EAGLEIU 中 导入 组 件 palette 文 
件 ， 便 可 在 EAGLE 中 生成 可 使 用 的 组 件 模 块 . 拖 
放 组 件 模块 将 单条 管线 所 需 的 组 件 按照 管线 步 
又 依 序 连接 并 包含 在 Scatter 组 件 范 围 中 ， 通 过 改 
变 Scatter 中 的 'Number of copies’ 参 数 来 选择 将 管 
线 并 行为 想 要 的 条 数 , 最 终 组 合成 管线 逻辑 图 . 
管线 逻辑 图 搭建 好 后 ，EAGLE 提 供 Transla- 
tion 选 项 将 逻辑 图 转化 为 物理 图 , 如 图 5 所 示 . 物理 
图 由 DALiuGE 翻 译 引 擎 从 逻辑 图 计算 而 来 , 然后 
显示 在 EAGLE 界 面 中 . 它 表示 将 逻辑 图 转换 为 管 
线 的 物理 执行 图 , 并 将 该 图 映射 到 实际 的 计算 机 集 
FEE. 

当 Translation 过 程 产生 的 物理 图 在 DALiuGE 
执行 引擎 上 部 署 和 实例 化 时 ， 就 会 成 为 跨 多 个 资 
源 单元 的 分 布 式 执 行 计划 中 相互 连接 的 Drop 集 
SU 由 于 该 管线 需要 在 CSRC-P 原 型 机 上 以 分 
布 式 多 节点 方式 并 行 运行 ,因此 需要 在 原型 机 的 
DALiuGE 中 进行 部 署 执 行 . 这 需要 将 之 前 组 合 好 
的 管线 逻辑 图 保存 为 graph 文 件 存 储 入 原型 机 系 
统 内 ， 通 过 提交 多 节点 任务 脚本 将 graph 文 件 以 
DALiuGE 的 集群 方式 部 署 执行 . DALiuGE 会 根据 
给 定 的 计算 节点 数 自 动 调度 并 行 管线 的 运行 , 在 计 
算 节 点 与 并 行 条 数 相当 的 情况 下 , 均匀 分 配 实现 单 
个 计算 节点 运行 一 条 成 像 管线 的 最 佳 方式 运行 . 同 
时 在 提交 目录 下 产生 节点 管理 的 log 文 件 、 运 行 空 
间 的 环境 文件 、 监 测 运 行 状 态 的 输出 文件 , 可 以 实 
时 地 了 解 和 监控 执行 进度 . 待 最 后 一 条 管线 执行 完 
毕 后 DALiuGE 会 自动 结束 任务 ， 最 终 实现 自动 化 
的 分 布 式 并 行 成 像 管线 处 理 . 


6 性 能 测试 与 结果 分 析 
6.1 TARS 


通过 对 上 述 并 行 方式 的 实现 , 我 们 总 结 了 3 种 
并 行 方法 的 优化 特性 : 
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图 5 成 像 管 线 的 物理 图 . 图 为 将 Scatter 内 的 Drops 找 贝 为 4 份 , 然后 并 行 处 理 4 个 GLEAM-X 数 据 的 物理 图 . 
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Fig.5 Physical graph for the imaging pipeline. The panel represents the physical graph of the imaging pipeline, where the 


Drops in Scatter have been replicated into 4 copies to enable parallel processing of 4 GLEAM-X data. 


(1) 在 资源 调度 和 任务 分 配方 面 , 基于 任务 排队 
的 Bash 脚 本 并 行 和 MPI 并 行 都 需要 用 户 手 动 编程 
进行 人 工 预 分 配 , 而 基于 DALiuGE 执 行 框架 的 并 


期 管理 组 件 , 可 以 跟踪 节点 活动 并 在 必要 时 自动 迁 
移 或 删除 ; 
(3) 在 管线 的 易 用 性 和 可 迁移 性 方面 , 前 两 种 方 


行 处 理 方式 可 以 实现 负载 均衡 的 自动 调度 , 无 需 用 
户 进行 额外 的 人 工 调度 ; 

(2) 在 管线 的 并 行 执行 与 控制 方面 ， 基 于 任务 
排队 的 Bash 脚 本 并 行 方式 执行 过 程 缺 乏 实时 监测 
和 控制 ; MPI 并 行 方式 虽 可 以 通过 编程 实现 执行 过 
程 的 故障 检测 , 但 故障 检测 的 延迟 性 和 后 续 恢 复 的 
成 本 仍 非常 高 . 这 两 种 方式 是 由 任务 处 理 来 驱动 的 
简单 并 行 流程 , 无 法 自动 根据 任何 中 间 数 据 集 和 刚 
好 可 用 的 资源 来 动态 地 调整 任务 执行 , 往往 需要 
更 多 的 人 工 干预 , 这 对 于 SKA 规 模 ( 数 千 万 个 并 发 
任务 ) 的 数据 处 理工 作 流 程 来 说 是 不 现实 的 . 而 基 
于 DALiuGE 执 行 框架 的 并 行 执行 是 由 数据 驱动 的 ， 
它 将 数据 建 模 为 逻辑 图 的 节点 , 在 内 存 中 实现 为 活 
动 对 象 , 可 以 持续 监控 并 触发 后 续 任务 的 执行 , 同 
时 其 采用 去 中 心 化 方式 执行 任务 节点 和 数据 节点 ， 
在 硬件 条 件 满足 的 情况 下 , 可 以 并 发 管理 和 执行 数 
万 个 任务 , 极 大 地 提升 了 管线 的 并 行 可 扩展 性 和 有 灵 
活性 . 此 外 , 执行 框架 中 还 集成 了 一 个 数据 生命 周 


式 执行 管线 都 需要 用 户 具 备 专业 编程 知识 , 通过 脚 
本 文件 编程 修改 管线 的 运行 设置 来 完成 本 地 化 部 
署 ,部 署 步 又 繁 琐 且 使 用 过 程 不 够 简单 清晰 . 而 使 
用 DALiuGE 执 行 框架 的 并 行 方式 运行 管线 由 于 
我 们 已 将 管线 步骤 集成 入 执行 框架 中 生成 系统 组 
件 , 用 户 只 需 在 逻辑 图 编辑 器 BEAGLEB 中 导入 已 制 
作 好 的 成 像 管 线 逻 辑 图 , 即 可 通过 修改 步骤 组 件 的 
可 视 化 设置 选项 来 实现 无 需 编程 的 管线 部 署 运行 ， 
用 户 可 以 直观 地 调整 管线 的 各 个 步骤 和 并 行 设置 ， 
极 大 地 增强 了 管线 的 易 用 性 和 可 迁移 性 . 


6.2 ”性 能 测试 

实验 环境 由 CSRC-P 原 型 机 的 计算 集群 上 的 23 
个 Intel X86 计算 节点 和 额外 的 管理 与 登录 节点 以 
及 4.5 PB 的 分 布 式 存储 系统 组 成 . 其 中 , 计算 节点 
包括 8 个 Purley CPU 节 点 和 15 个 华为 CPU 节 点 , 节 
点 详细 参数 指标 如 表 3 所 示 . 分 布 式 存储 系统 采用 
分 层 的 存储 设计 , 使 用 全 闪存 NVMe 存 储 以 及 SSD 
固态 硬盘 作为 数据 交换 人 介质， 总 存储 为 4.5 PB 
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(Huawei oceanstor). 为 了 比较 性 能 ， 我 们 使 用 相 
同 的 16 个 数据 和 运行 参数 在 相同 的 环境 中 测试 , 分 
别 使 用 基于 任务 排队 系统 的 管线 Bash 脚 本 并 行 方 
式 、 基 于 MPI 的 并 行 扩展 方式 和 基于 DALiuGE 执 
行 框架 的 自动 化 并 行 处 理 方式 运行 GCLEAM-X 成 
BER. 具体 运行 参数 如 下 : 并 行使 用 计算 节点 
数 为 16 个 , 每 个 节点 使 用 内 存 为 500 GB, 每 个 节点 
使 用 核心 数 为 24、 进 程 数 为 48. 根据 我 们 的 实验 ， 


H 
be 


文 学 报 6 其 
这 3 种 并 行 方式 的 输入 和 输出 结果 完全 相同 ,这 证 


明了 我 们 在 DALiuGE 上 的 移植 管线 与 原 管线 的 功 


LB Ags 六 | 
能 等 效 . 


结果 分 析 

根据 实验 结果 可 以 看 出 ，DALiuGE 表 现 出 比 
MPI 和 Bash 版 本 更 好 的 性 能 . 图 6 显示 了 用 3 种 方式 
处 理 1、2、4、8、16 个 快照 数据 (每 个 快照 数据 处 


理 占 据 1 个 计算 节点 ) 时 的 实验 结果 . 


6.3 


表 3 计算 节点 主要 参数 指标 


Table 3 Main parameters and indexes of compute node 


Node 


CPU (cores) 


Memory (capacity) 


Management and login 
Purley 


Huawei 


2x E5-4610v4 (12) 
2x intel (R) Gold6132 (28) 
2xintel (R) Gold5218 (32) 


8x32 G DDR4 (256 GB) 
16x64 G DDR4 (1 TB) 
12x64 G DDR4 (768 GB) 


—— Bash 
$- mpi 
| A DALiuGE 


Runtime/h 


4-data 8-data 16-data 


Number of data 


基于 Bash、MPI 和 DALiuGE 的 管线 的 性 能 对 比 


2-data 


Fig.6 Performance comparison of pipelines based on Bash, 
MPI and DALiuGE 


DALiuGE 的 总 平均 处 理 时 间 为 7.1h， 而 MPI 
和 Bash 分 别 为 7.48 h 和 7.67 h, 图 中 误差 棒 ( 标 准 差 ) 
为 测试 每 种 并 行 方式 在 相同 并 行 数据 数量 下 实 
验 10 次 得 出 的 ， 可 以 看 出 在 相同 数量 数据 的 情况 
下 ，DALiuGE 的 处 理 时 间 始 终 比 MPI、Bash 方 式 
要 少 0.5 h 到 1 h, 且 DALiuGE 误 差 棒 较 短 、 多 次 处 
里 时 间 的 标准 差 较 小 , 因此 DALiuGE 的 处 理 运行 
更 为 稳定 且 耗 时 更 少 . 随 着 并 行 处 理 数据 数量 的 


里 
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增加 ， 处 理 时 间 随 之 线性 增加 ， 但 DALiuGE 依 然 
是 3 种 并 行 方式 中 处 理 时 间 最 少 的 , 并 且 在 并 行 扩 
展 时 ，DALiuGE 能 在 部 署 执行 时 为 多 条 并 行 管线 
自动 调度 分 配 计算 节点 ; 而 无 论 是 MPI 还 是 Bash 并 
行 方式 都 需要 用 户 先 查询 计算 资源 的 空闲 情况 , 然 
后 再 通过 额外 编程 来 手动 对 多 条 并 行 管线 进行 计 
算 节 点 的 分 配 , 这 将 会 产生 更 多 的 人 工 调度 时 间 成 
本 , 并 且 随 着 并 行 扩 展 数量 的 增加 ， 人 工 调度 的 时 
间 成 本 也 将 越 来 越 大 , 这 对 于 需要 自动 化 处 理 海 量 
数据 的 成 像 管 线 来 说 是 很 大 的 缺陷 . 因此 , 可 以 得 
出 结论 , 在 以 上 3 种 并 行 方式 中 DALiuGE 并 行 处 理 


=i 


的 GLEAM-X 成 像 管 线 综合 性 能 最 好 . 
7 总结 与 展望 

作为 目前 建设 中 最 大 的 射电 望远镜 , SKA AMM 
有 着 孕育 世界 级 科研 成 果 的 使 命 , 而 且 将 会 产生 


世界 上 最 大 规模 的 数据 , 因此 我 们 需要 充分 认识 到 
SKA 数 据 处 理 的 巨大 挑战 5 沟 . 从 技术 趋势 来 看 , 使 
用 执行 框架 来 处 理 SKA 的 超 海 量 数据 , 很 可 能 是 必 
然 的 选择 ，DALiuGE 正 是 在 这 种 背景 下 被 提出 和 
开发 的 B3l. 

本 文 基于 SKA-1 先 导 望 远 镜 数据 而 


究 实 现 自 
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动 化 分 布 式 数据 处 理 的 成 
分 布 式 数据 工作 流 ,而 
DALiuGE 执 行 框架 集成 方法 、 任 务 分 本 
方法 , LMT A 


衡 


> 


已 


isa 


象 管 线 , 通过 分 析 SKA-1 
究 管线 与 分 布 式 工作 流 的 
C 和 负载 均 


有 较 高 可 扩展 性 的 分 布 式 数据 处 


里 管线 . 根据 我 们 的 实验 ， 


集成 入 DALiuGE 执 行 框 


架 的 成 像 管 线 在 运行 性 能 上 对 比 传统 的 并 行 处 理 


ANS 


方式 具备 一 定 优势 , 主要 在 于 快速 的 任务 定制 和 面 


向 数据 驱动 的 处 理 模型 , 这 符合 科学 区 域 中 ， 


心 的 应 


Aes 
=i 
=j 


X 


R. 基于 DALiuGE 执 行 框架 进行 优化 的 成 像 


线 相 较 于 一 般 并 行 处 理 方式 具有 更 好 的 性 能 优 
势 、 更 灵活 的 适 配 性 和 可 扩展 性 , 可 支持 未 来 SKA 
第 一 阶段 试 运行 期 间 的 大 规模 连续 谱 成 像 实验 . 本 


主要 研究 管线 在 并 行 框架 上 的 整体 优化 , 注重 于 


管线 在 多 个 计 


节点 上 的 并 行 度 和 可 拓展 性 的 提 


执行 代码 不 


升 以 及 管线 
模 科学 数据 


壬 部署 运行 时 的 便利 性 , 用 以 解决 大 规 
自动 化 处 理 问 题 , 对 于 管线 内 部 步骤 的 


改 更 细 粒 度 的 并 行 优化 . 对 管线 的 内 部 


细节 优化 以 提升 管线 在 单 节 点 上 的 运行 效率 并 与 


GEA 


当前 在 j 


行 框架 上 的 整体 性 优化 相 结合 将 作为 我 


们 接 下 来 更 进 
移植 工作 相当 耗费 人 力 , 实际 
到 DALiuGE 上 是 
在 技术 上 的 实现 并 不 困难 , 但 却 要 消耗 大 量 的 人 力 . 
在 本 次 研究 中 , | 
码 调试 效率 很 低 , 我 们 花费 了 大 量 的 时 间 和 精力 在 
移植 和 新 代码 设计 中 ， 
发 计划 和 开发 人 员 来 完成 最 终 的 DALiuGE 的 移植 
开发 仍 是 


步 的 研究 课题 . 此 外 , DALiuGE 的 
E, KRAE RIE 
的 工作 ， 这 项 工作 


项 相当 艰苦 


于 没有 辅助 工 


DALiuGE 的 代 


因此 在 未 来 如 何 合理 安排 开 


需要 


as A 


完 的 问题 . 


致谢 论文 使 用 了 GLEAM-X 管 线 开 发 团队 的 代 
码 , 论文 作者 感谢 开发 团队 所 有 成 员 包 括 Natasha 
Hurley-Walker, Paul Hancock, Gemma Ander- 


son, John Morgan, Stefan Duchesne 和 Tim Galvin. 
(github 链 接 : https://github.com/tjgalvin/GLEA 
M-X-pipeline) 
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Low-frequency Radio Interferometric Array Imaging Pipeline 
Optimization Based on Distributed Execution Framework 


WEI Yao-jiel2 FU Jie-lin' LAO Bao-qiang?* 
(1 Key Laboratory of Cognitive Radio and Information Processing of the Ministry of Education, School of Information and 
Communication, Guilin University of Electronic Science and Technology, Guilin 541004) 
(2 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030) 
(8 School of Physics and Astronomy, Yunnan University, Kunming 650500) 


Asstract The Square Kilometre Array (SKA) project is an international collaboration to build the 
world’s largest radio telescope, whose sensitivity and measurement speed will be an order of magnitude 
higher than those of all current radio telescopes. Radio continuum survey is one of the main observation 
mode of the SKA, and the establishment of a standard map of the survey area based on continuum imaging 
will provide an important foundation for subsequent astronomical science. The GaLactic and Extragalactic 
All-sky Murchison Widefield Array survey eXtended (GLEAM-X) is a project of the SKA pilot telescope 
Murchison Widefield Array (MWA) in 2018—2020. GLEAM-X is a new radio continuum survey project to 
be carried out with the MWA Phase II expansion array in 2018—2020. The experience of optimizing the 
imaging pipeline based on the distributed execution framework will help to solve the problem of massive 
data processing. In this paper, we describe the process steps of GLEAM-X imaging pipeline, integrate 
and improve it, and realize parallel processing of multiple pipelines on the China SKA Regional Centre 
Prototype (CSRC-P), and verify the deployment and test the correctness of the imaging pipeline system 
using GLEAM-X observation data. The GLEAM-X observations were used to validate the deployment 
of the imaging pipeline system and test its correctness. Then, to optimize the pipelines and improve the 
processing efficiency, the Data Activated Liu Graph Engine (DALiuGE) was used to integrate the imaging 
pipelines into the DALiuGE execution framework to automate the distributed parallel processing of the 
pipelines. Performance tests and results analysis show that the optimized imaging pipeline based on the 
DALiuGE execution framework has better performance, more flexible adaptability and scalability than the 
traditional parallel approach, and can support future large-scale continuum imaging experiments during 
the first phase of SKA commissioning. 


Key words instrumentation: interferometers, methods: observational, techniques: interferometric, tech- 
niques: image processing, radio continuum: general 
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